Multi-Block Diffusion Language Models
多块扩散语言模型
🧭 扩散语言模型 · 多块并行解码
Shanghai Jiao Tong University · Xi'an Jiao Tong University · Huawei
通过多块教师强制训练和块缓冲解码，将块扩散语言模型扩展至多块并行生成，实现近两倍加速且精度不降
📌 工作参考价值（4 点）
- 若在推荐系统中用扩散模型生成文案、推荐理由等长文本，可借鉴多块并行解码思路，将生成过程拆分为固定大小的噪声块组，提升并行度，降低推理延迟。
- 块缓冲（Block Buffer）机制通过保持 KV cache 静态形状和前缀复用，能直接迁移到在线 LLM 服务的缓存管理，减少显存波动，适合高并发场景。
- 多块教师强制（MultiTF）提供了一种低成本后训练方案：在已有 BD-LM 基础上，只需构造带噪声的连续块与干净前缀的混合训练数据，就可以让模型适配更高效的解码策略，适合快速迭代。
- 实验中的 TPF 指标可作为工程权衡的参考：在精度允许范围内（如 1% 准确率损失），可将每步生成令牌数提升近 3 倍，有利于在成本与效果间做配置化调优。